我们介绍韩语了解评估（KLUE）基准。 Klue是8个韩国自然语言理解（nlu）任务的集合，包括主题分类，语言典的相似性，自然语言推断，命名实体识别，关系提取，依赖解析，机器阅读理解和对话状态跟踪。我们从各种源语料库中展开的所有任务，同时尊重版权，以确保任何没有任何限制的人的可访问性。考虑到道德考虑，我们仔细设计了注释协议。随着基准任务和数据，我们为每个任务提供适用的评估指标和微调配方，为每项任务进行预训练语言模型。我们还释放了预用的语言模型（PLM），Klue-Bert和Klue-Roberta，以帮助在KLUE上再现基线模型，从而促进未来的研究。我们通过拟议的Klue基准套件从初步实验中进行了一些有趣的观察，已经证明了这款新的基准套件的有用性。首先，我们找到了klue-roberta-mantring的其他基线，包括多语种plms和现有的开源韩国plms。其次，即使我们从预先预测语料库中取代个人身份信息，我们也会看到性能下降最小，这表明隐私和NLU能力并不彼此可能。最后，我们发现，使用BPE标记与语素级预象的组合，在涉及语素级标记，检测和发电的任务中是有效的。除了加速韩国人NLP研究外，我们的创建Klue的全面文件将有助于将来为其他语言创建类似的资源。 klue在https://klue-benchmark.com上提供。

对于大部分现实生活中的话语，其意图不能仅由它们的语义或句法特征决定。尽管并非所有的社会语言和务实信息都可以数字化，但至少语音特征在理解口语中是必不可少的。尤其是在诸如韩国人之类的头部最终语言中，句子 - 最终韵律在识别说话者的意图方面非常重要。本文提出了一个系统，该系统鉴于其笔录在某些情况下使用辅助声学特征，可以识别出口语的固有意图。这里的要点是对于歧视意图需要声学提示的情况。因此，提出的分类系统决定给定的话语是利用来自头部金属的语调依赖性的片段，陈述，问题，命令还是命令/命令。基于对参与数据注释的韩语的直观理解，我们构建了一个网络，该网络识别语音的意图，并通过测试句子验证其实用性。该系统如果与最新的语音识别器结合在一起，则预计将灵活地插入各种语言理解模块中。

已知视觉问题答案（VQA）的任务受到VQA模型的问题的困扰，从而利用数据集中的偏见来做出最终预测。已经提出了许多先前基于合奏的偏数方法，其中有目的地训练了一个额外的模型以帮助训练强大的目标模型。但是，这些方法从训练数据的标签统计数据或直接从单局分支中计算出模型的偏差。相反，在这项工作中，为了更好地了解目标VQA模型的偏见，我们提出了一种生成方法来训练偏差模型\ emph {直接来自目标模型}，称为GenB。特别是，GENB采用生成网络来通过对抗目标和知识蒸馏的结合来学习偏见。然后，我们将目标模型以GENB作为偏置模型为单位，并通过广泛的实验显示了我们方法对包括VQA CP2，VQA-CP1，VQA-CP1，GQA-OOD和VQA-CE在内的各种VQA偏置数据集的影响。

多年来，为各种对象检测任务开发了数据集。海事域中的对象检测对于船舶的安全和导航至关重要。但是，在海事域中，仍然缺乏公开可用的大规模数据集。为了克服这一挑战，我们提出了Kolomverse，这是一个开放的大型图像数据集，可在Kriso（韩国研究所和海洋工程研究所）的海事域中进行物体检测。我们收集了从韩国21个领土水域捕获的5,845小时的视频数据。通过精心设计的数据质量评估过程，我们从视频数据中收集了大约2,151,470 4K分辨率的图像。该数据集考虑了各种环境：天气，时间，照明，遮挡，观点，背景，风速和可见性。 Kolomverse由五个类（船，浮标，渔网浮标，灯塔和风电场）组成，用于海上对象检测。该数据集的图像为3840美元$ \ times $ 2160像素，据我们所知，它是迄今为止最大的公开数据集，用于海上域中的对象检测。我们进行了对象检测实验，并在几个预训练的最先进的架构上评估了我们的数据集，以显示我们数据集的有效性和实用性。该数据集可在：\ url {https://github.com/maritimedataset/kolomverse}中获得。

Stylegan最近的成功表明，预训练的Stylegan潜在空间对现实的视频生成很有用。但是，由于难以确定stylegan潜在空间的方向和幅度，因此视频中产生的运动通常在语义上没有意义。在本文中，我们提出了一个框架来通过利用多模式（声音图像文本）嵌入空间来生成现实视频。由于声音提供了场景的时间上下文，因此我们的框架学会了生成与声音一致的视频。首先，我们的声音反演模块将音频直接映射到Stylegan潜在空间中。然后，我们结合了基于夹子的多模式嵌入空间，以进一步提供视听关系。最后，提出的帧发电机学会在潜在空间中找到轨迹，该空间与相应的声音相干，并以层次结构方式生成视频。我们为声音引导的视频生成任务提供新的高分辨率景观视频数据集（视听对）。实验表明，我们的模型在视频质量方面优于最新方法。我们进一步显示了几种应用程序，包括图像和视频编辑，以验证我们方法的有效性。

在现实世界中构建大规模标记的数据集，特别是对于高级任务（例如，视觉问题应答），可能是昂贵且耗时的。此外，随着越来越多的数据和架构复杂程度，积极学习已成为计算机视觉研究的一个重要方面。在这项工作中，我们在Visual问题的多模态设置（VQA）中解决了主动学习。鉴于多模态输入，图像和问题，我们提出了一种通过使用Ad Hoc单模分支来利用其信息来利用其信息来提出一种有效的样本采集的新方法。我们的互信息采集策略单模熵措施（SMEM）除了我们的自蒸馏技术之外，还可以利用所有现有方式，找到最具信息的样本。我们的新颖思想易于实施，成本效益，易于适应其他多模态任务。我们通过与现有的主动学习基线进行比较，通过最先进的性能确认我们的各种VQA数据集。

Single-image super-resolution (SISR) networks trained with perceptual and adversarial losses provide high-contrast outputs compared to those of networks trained with distortion-oriented losses, such as L1 or L2. However, it has been shown that using a single perceptual loss is insufficient for accurately restoring locally varying diverse shapes in images, often generating undesirable artifacts or unnatural details. For this reason, combinations of various losses, such as perceptual, adversarial, and distortion losses, have been attempted, yet it remains challenging to find optimal combinations. Hence, in this paper, we propose a new SISR framework that applies optimal objectives for each region to generate plausible results in overall areas of high-resolution outputs. Specifically, the framework comprises two models: a predictive model that infers an optimal objective map for a given low-resolution (LR) input and a generative model that applies a target objective map to produce the corresponding SR output. The generative model is trained over our proposed objective trajectory representing a set of essential objectives, which enables the single network to learn various SR results corresponding to combined losses on the trajectory. The predictive model is trained using pairs of LR images and corresponding optimal objective maps searched from the objective trajectory. Experimental results on five benchmarks show that the proposed method outperforms state-of-the-art perception-driven SR methods in LPIPS, DISTS, PSNR, and SSIM metrics. The visual results also demonstrate the superiority of our method in perception-oriented reconstruction. The code and models are available at https://github.com/seungho-snu/SROOE.

有许多基于深卷卷神经网络（CNN）的图像恢复方法。但是，有关该主题的大多数文献都集中在网络体系结构和损失功能上，而对培训方法的详细介绍。因此，某些作品不容易重现，因为需要了解隐藏的培训技巧才能获得相同的结果。要具体说明培训数据集，很少有作品讨论了如何准备和订购培训图像补丁。此外，捕获新数据集以训练现实世界中的恢复网络需要高昂的成本。因此，我们认为有必要研究培训数据的准备和选择。在这方面，我们对训练贴片进行了分析，并探讨了不同斑块提取方法的后果。最终，我们提出了从给定训练图像中提取补丁的指南。

本文提出了图像恢复的新变异推理框架和一个卷积神经网络（CNN）结构，该结构可以解决所提出的框架所描述的恢复问题。较早的基于CNN的图像恢复方法主要集中在网络体系结构设计或培训策略上，具有非盲方案，其中已知或假定降解模型。为了更接近现实世界的应用程序，CNN还接受了整个数据集的盲目培训，包括各种降解。然而，给定有多样化的图像的高质量图像的条件分布太复杂了，无法通过单个CNN学习。因此，也有一些方法可以提供其他先验信息来培训CNN。与以前的方法不同，我们更多地专注于基于贝叶斯观点以及如何重新重新重构目标的恢复目标。具体而言，我们的方法放松了原始的后推理问题，以更好地管理子问题，因此表现得像分裂和互动方案。结果，与以前的框架相比，提出的框架提高了几个恢复问题的性能。具体而言，我们的方法在高斯denoising，现实世界中的降噪，盲图超级分辨率和JPEG压缩伪像减少方面提供了最先进的性能。

最近的研究通过卷积神经网络（CNNS）显着提高了单图像超分辨率（SR）的性能。虽然可以有许多用于给定输入的高分辨率（HR）解决方案，但大多数现有的基于CNN的方法在推理期间不会探索替代解决方案。获得替代SR结果的典型方法是培训具有不同丢失权重的多个SR模型，并利用这些模型的组合。我们通过利用多任务学习，我们提出了一种更有效的方法来培训单个可调SR模型的单一可调SR模型。具体地，我们在训练期间优化具有条件目标的SR模型，其中目标是不同特征级别的多个感知损失的加权之和。权重根据给定条件而变化，并且该组重量被定义为样式控制器。此外，我们提出了一种适用于该训练方案的架构，该架构是配备有空间特征变换层的残留残余密集块。在推理阶段，我们培训的模型可以在样式控制地图上生成局部不同的输出。广泛的实验表明，所提出的SR模型在没有伪影的情况下产生各种所需的重建，并对最先进的SR方法产生相当的定量性能。